Năm 1767, nhà thơ William Cowper đến sống tại Olney. Cowper đến thờ phượng tại nhà thờ của Newton và cộng tác với ông trong việc sáng tác các ca khúc tôn giáo. Năm 1779, hai người cho xuất bản tuyển tập Thánh ca Olney, tạo được ảnh hưởng lớn trong nền âm nhạc Cơ Đốc tại Anh, trong đó có bài thánh ca rất được yêu thích "Ân điển Diệu kỳ".

Ngày 21 tháng 12 năm 1807, John Newton từ trần, được an táng bên cạnh vợ, Mary Catlett Newton, tại St. Mary Woolnoth. Năm 1893, hai người được cải táng đến Olney.